Андрей Ливадный - Шаг к звездам [= Вспышка]

— Нет, генерал, не вы. Но и я его не создал! Хотите знать, почему?

— Ну? — насупился Альберт. — Только не надо говорить о технических трудностях, хорошо? Все системы андроидов построены на базе созданных тобой нейрочипов, — безжалостно констатировал он и тут же добавил: — Надеюсь, капитан Даллас убедил тебя, что уровень современной сервомеханики соответствует самым жестким критериям технических заданий, а наличие конвертера вещества снимает все препятствия при проектировании автономных энергосистем…

Герберт молча выслушал собеседника и внезапно спросил:

— Что остается в минусе?

Уилсберг был неприятно удивлен такой формулировкой вопроса. Теперь он видел, как сильно изменился его бывший подчиненный. Бесполезно давить на него понятиями армейской субординации — Ричардсону ничего не стоило глубоко наплевать на тот факт, что его вновь заставили надеть военную форму…

— Хорошо, я отвечу сам, — произнес Герберт. — Вы правы, создать мыслящую машину даже в отсутствие конвертера вещества не составляло для меня сверхзадачи. Размер нейрочипа, внутри которого заключено десять тысяч искусственных нейронов, удалось уменьшить до двухсантиметровой пластины. Что мешало мне собрать систему из сотни автономных нейросетей?

— Не знаю…

— Я не смог решить проблему парадигмы… И Хьюго был прекрасно осведомлен об этом. Машинный разум, построенный на основе нейросетей, помимо заложенных в него знаний должен обладать способностью оценивать окружающий мир. Здесь, на мой взгляд, существует два варианта: либо мы закладываем в машину жесткую систему наших, человеческих моральных ценностей, либо даем возможность пробудившемуся нейросетевому интеллекту самому выработать глобальную парадигму.

— Поланд ничего не докладывал мне об этом.

— Потому что обе попытки окончились провалами, последствия которых, к счастью, не вышли за пределы лабораторий. В первом случае «ИИ»[16], настроенный на определенную совокупность моральных норм, попросту «рухнул» под грузом логических ошибок, стоило однажды подключить его к доступу в Интернет. Виртуальная среда, где люди все чаще находят место выражению собственных взглядов, вошла в жесткий конфликт с элементарными нормами поведения, которые мы с Хьюго сформулировали в качестве эквивалента мировоззрения для сложной нейросетевой структуры. Система в буквальном смысле погибла под гнетом несоответствия ожидаемого и действительного.

— А чем закончился второй эксперимент?

Герберт, до этого взволнованно расхаживавший вдоль подиума, сел, безнадежно взмахнув рукой.

— Бышло еще хуже. Нейросетевой интеллект, которому мы позволили самому собирать информацию, в конечном итоге действительно выработал собственное мировоззрение. Но машина при этом осталась машиной. У нее нет чувств, а значит, ей не найти логического оправдания большинству человеческих поступков. В результате мы получили отрешенного наблюдателя, который оценивал человечество как некую глобальную ошибку, выпадающую из контекста общих законов природы. По мнению «ИИ», мы не венец эволюции, а неоправданно размножившийся вид млекопитающих, чье существование ведет к необратимой гибели биосферы и как следствие — исчезновению жизни на Земле.

Уилсберг понимающе кивнул. Некоторое время он удрученно размышлял над услышанным, а затем недоверчиво переспросил:

— И ты прекратил попытки?

Герберт искоса посмотрел на генерала.

— Нет, — нехотя признался он. — Я разработал программу, которую назвал «Дарвин».

Уилсберг заинтересованно повернул голову.

— Можешь объяснить, в чем ее суть? — спросил он.

Ричардсон ответил не сразу. Некоторое время капитан сидел, отрешенно глядя на экраны демонстрационной системы, а затем произнес:

— Это была попытка объединения параллельных структур, с тем чтобы одни экспертные нейросети могли «учиться» у других, заимствуя недостающую информацию, при возникновении ультрасложных проблем. Сама по себе программа «Дарвин» не руководит непосредственными действиями машины — она осуществляет связь между отдельными нейрочипами, одновременно инициируя в системе функцию «естественного отбора».

— И что это дает? — воспользовавшись краткой паузой, спросил Уилсберг.

— Смысл данной функции заключен в том, что заранее известная информация, не подтвержденная поступающими извне данными, в конечном итоге признается ложной, и это позволяет избежать роковых логических сбоев. Кроме того, машина должна иметь резервные нейрочипы, структура которых формируется в процессе саморазвития, и если их работа ведет к стабильному результату, то исходные модули очищаются от неверной информации и переходят в состояние «резервных».

— То есть внутри системы нейросети конкурируют друг с другом? — заинтересованно уточнил Альберт.

— Приблизительно так. Выживают и продолжают работать только стабильные участки, машина постоянно достраивает собственную архитектуру, стремясь стать более совершенной.

— И это, по-твоему, еще не решение проблемы?!

— Не знаю… — честно признал Герберт. — Эксперименты с программой «Дарвин» не окончены. Между прочим, именно исчезновение Хьюго затормозило ход работ. Я не в состоянии предсказать, как поведет себя подобная машина на поздних стадиях саморазвития, хотя эволюция программных модулей протекает в миллионы раз быстрее, чем аналогичный природный процесс.

— По-твоему, такой механизм может стать опасным?

— Любое саморазвитие несет в себе определенную степень риска. Я все чаще и чаще задумываюсь: зачем мы должны плодить и доводить до какой-то степени совершенства свои подобия, когда несовершенны мы сами?

— На этот вопрос я могу ответить. — Уилсберг тяжело встал. — Наша страна по сути находится в состоянии войны с многоликим противником, чьи боевики, будто проказа, расползлись по всему миру. Наши вооруженные силы в состоянии сломать хребет реальной армии, но мы не можем эффективно защитить своих граждан от непредсказуемых действий террористов-одиночек. Эта угроза витает в воздухе, она будет тяготеть над нами, сеять панику, неуверенность, нестабильность. Да, мы раздавим гнезда терроризма, но останутся фанатики, шахиды, против которых бессильна армия. — Он обернулся к Герберту. — Я спрашиваю себя: мы должны жить в страхе? Или объявить войну всему миру? А может, нам следует мобилизовать половину мужского населения и поставить армейскую палатку со взводом солдат у каждого дома?

Герберт сразу понял, в какую сторону клонит Уилсберг.